#Libs
import pandas as pd
import pandas_profiling
#Seleção de features
from sklearn.decomposition import PCA
#Carregando dataset
df = pd.read_csv('../input/train.csv')
#Formato do DataFrame
df.shape
#Colunas com valores NA
print([x for x in df.isnull().sum() > 0 if x])
#Observando o nome de algumas variáveis
df.columns[:20]
#Agrupamos as variáveis pela primeira palavra antes da ocorrência do caracter _
colgroups = list(set([x.split('_')[0] for x in df.columns]))
sorted(colgroups)
#Carregando dataframes por tipo
df_delta = df.filter(regex='^delta')
df_imp = df.filter(regex='^imp')
df_ind = df.filter(regex='^ind')
df_num = df.filter(regex='^num')
df_saldo = df.filter(regex='^saldo')
df_var = df.filter(regex='^var')
df_delta.profile_report()
Nenhuma destas variáveis serão selecionadas
df_imp.profile_report()
Variáveis numéricas contínuas selecionadas:
df_ind.profile_report()
Variáveis booleanas selecionadas:
df_num.profile_report()
Variáveis numéricas contínuas selecionadas:
Variáveis numéricas categóricas selecionadas:
df_saldo.profile_report()
Variáveis numéricas contínuas selecionadas:
df_var.profile_report()
Variáveis numéricas contínuas selecionadas:
Ainda restaram muitas variáveis numéricas. Vamos utilizar PCA para selecionar as mais significativas.
#Variáveis numéricas
num_vars = ['imp_aport_var13_hace3', 'imp_ent_var16_ult1', 'imp_op_var39_comer_ult1',
'imp_op_var39_comer_ult3', 'imp_op_var39_efect_ult1', 'imp_op_var39_efect_ult3',
'imp_op_var39_ult1', 'imp_trans_var37_ult1', 'num_med_var22_ult3', 'num_med_var45_ult3',
'num_op_var39_comer_ult1', 'num_op_var39_efect_ult1', 'num_var22_hace2', 'num_var22_hace3',
'num_var22_ult1', 'num_var30', 'num_var30_0', 'num_var35', 'num_var39_0', 'num_var42',
'num_var45_hace3', 'num_var45_ult1', 'num_var5_0', 'saldo_medio_var5_hace2',
'saldo_medio_var5_hace3', 'saldo_medio_var5_ult1', 'saldo_medio_var5_ult3',
'saldo_var30', 'saldo_var5', 'var15', 'var36']
# Aplicando PCA para extrair os componentes que justificam pelo menos 90% da variância nos dados
dim_reduce = PCA(n_components = 0.90)
dim_reduce.fit_transform(df[num_vars])
# Variância total dos componentes
print(dim_reduce.explained_variance_ratio_)
# DataFrame após PCA
pd.DataFrame(dim_reduce.components_, columns = num_vars).T
90% da variância das variáveis numéricas pôde ser explicadar por 3 componentes principais. Serão selecionadas as três variáveis com maior variância entre estes componentes: